正常化流动在过去几年中已经变得更加流行;然而,他们继续计算得昂贵,使得它们难以被接受到更广泛的机器学习界中。在本文中,我们介绍了一个简单的一维一层网络,其封闭形式的Lipschitz常数;使用此,我们介绍了一种新的精确嘴唇流(ELF),这些流量(ELF)结合了剩余流量的易于采样,并具有自回归流的强烈性能。此外,我们表明,与多个其他流相比,ELF被证明是通用密度近似器,更新和参数有效,并且在多个大规模数据集上实现最先进的性能。
translated by 谷歌翻译
在过去的几年里,已经开始使用统计模型与神经网络相结合,最终目标能够更好地回答问题,“我们的模型知道是什么?”。从这种趋势来看,诸如预测间隔覆盖概率(PICP)等经典度量和校准错误等新度量已经进入了模型评估的一般曲目,以便更好地了解我们模型的不确定性与现实的不确定性。不确定性建模的一个重要组成部分是模型不确定性(认知不确定性),测量模型所做的和不知道的。然而,目前的评估技术倾向于将模型不确定性与炼体不确定性(不可缩短的误差)混合,导致不正确的结论。在本文中,使用后验预测检查,我们展示了校准误差和其变体几乎始终不正确,以使用给定的模型不确定性,并进一步展示了如何在良好模型中对不良模型的信任和不信任的信任。虽然后部预测检查往往用于贝叶斯模型的样本评估,但我们仍然存在在现代深度学习世界中的重要位置。
translated by 谷歌翻译
分析公司风险的关键组件之一是了解公司的供应链。供应链不断扰乱,无论是通过关税,流行病,恶劣天气等。在本文中,我们解决了使用图形神经网络(GNNS)预测公司的先前未知供应商和客户的问题,并在找到先前未知的连接方面表现出强烈的性能通过结合我们模型的预测和供应链分析师的域专业知识。
translated by 谷歌翻译
Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.
translated by 谷歌翻译
神经场通过将坐标输入映射到采样值来模型信号。从视觉,图形到生物学和天文学的许多领域,它们正成为越来越重要的主链体系结构。在本文中,我们探讨了这些网络中常见的调理机制之间的差异,这是将神经场从信号的记忆转移到概括的基本要素,其中共同建模了位于歧管上的一组信号。特别是,我们对这些机制的缩放行为感兴趣,以对日益高维的调理变量感兴趣。正如我们在实验中显示的那样,高维条件是建模复杂数据分布的关键,因此,确定哪种体系结构在处理此类问题时最能实现哪种选择。为此,我们运行了使用串联,超网络和基于注意力的调理策略对2D,3D和4D信号进行建模的实验,这是文献中尚未进行的必要但费力的努力。我们发现,基于注意力的条件在各种环境中的其他方法都优于其他方法。
translated by 谷歌翻译
我们建议在2D域中利用自我监督的技术来实现细粒度的3D形状分割任务。这是受到观察的启发:基于视图的表面表示比基于点云或体素占用率的3D对应物更有效地建模高分辨率表面细节和纹理。具体而言,给定3D形状,我们将其从多个视图中渲染,并在对比度学习框架内建立密集的对应学习任务。结果,与仅在2D或3D中使用自学的替代方案相比,学到的2D表示是视图不变和几何一致的,在对有限的标记形状进行培训时,可以更好地概括概括。对纹理(渲染peple)和未纹理(partnet)3D数据集的实验表明,我们的方法在细粒部分分割中优于最先进的替代方案。当仅一组稀疏的视图可供训练或形状纹理时,对基准的改进就会更大,这表明MVDecor受益于2D处理和3D几何推理。
translated by 谷歌翻译
在自动驾驶符号识别等任务中,强大的分类至关重要,因为错误分类的弊端可能是严重的。对抗性攻击威胁着神经网络分类器的鲁棒性,导致它们始终如一,自信地误导了道路标志。一种这样的攻击,基于阴影的攻击,通过应用自然的阴影来输入图像引起误解,从而导致人类观察者看起来很自然,但对这些分类器感到困惑。当前针对此类攻击的防御能力采用简单的对抗训练程序,分别在GTSRB和LISA测试集上获得相当低的25 \%和40 \%的鲁棒性。在本文中,我们提出了一种健壮,快速且可推广的方法,旨在在道路标志识别的背景下防御阴影攻击,以增强具有二进制自适应阈值和边缘图的源图像。我们从经验上表明了它针对影子攻击的稳健性,并重新制定了该问题,以表明其相似性$ \ varepsilon $基于扰动的攻击。实验结果表明,我们的边缘防御能力达到78 \%的鲁棒性,同时在GTSRB测试集上保持98 \%的良性测试精度,这是我们阈值防御的类似结果。链接到我们的代码是在论文中。
translated by 谷歌翻译
FOLD-R ++是一种针对二进制分类任务的高效且基于规则的机器学习算法。它以(可解释的)训练有素的模型生成分层的正常逻辑程序。我们对称为fold-se的fold-r ++算法进行了改进,该算法在继承fold-r ++的所有优点时提供了可扩展的解释性(SE)。可扩展的解释性意味着,无论数据集的大小如何,学识渊博的规则和学识关的数量保持很小,因此人类可以理解,同时保持分类的良好表现。 Fold-SE具有最新的算法(例如XGBoost和Multi-Layer Perceptrons(MLP))的性能竞争力。但是,与XGBoost和MLP不同,Fold-SE算法生成具有可扩展性的模型。 FOLD-SE算法在效率,性能和解释性方面优于fold-r ++和开膛手算法,尤其是对于大型数据集。 fold-rm算法是用于多类分类任务的fold-r ++的扩展。还提出了一种改进的折叠式RM算法。
translated by 谷歌翻译
精益燃烧是环境友好的,NOX排放量低,并且在燃烧系统中还提供了更好的燃油效率。但是,接近瘦燃烧会使引擎更容易容易倾斜。精益井喷(LBO)是一种不希望的现象,可能会导致突然的火焰灭绝,从而导致突然失去权力。在设计阶段,对于科学家来说,准确确定最佳的操作限制以避免突然发生LBO的情况非常具有挑战性。因此,至关重要的是,在低NOX排放发动机中开发准确且可计算的框架来在线LBO检测。据我们所知,我们第一次提出了一种深度学习方法来检测燃烧系统中的精益井喷。在这项工作中,我们利用实验室规模的燃烧器收集不同协议的数据。对于每个协议,我们远离LBO,并逐渐朝LBO制度移动,在每个条件下捕获一个准静态时间序列数据集。使用数据集中的一个协议作为参考协议,并在域专家注释的条件下,我们找到了经过培训的深度学习模型的过渡状态指标,以在其他测试协议中检测LBO。我们发现,我们所提出的方法比其他基线模型更准确和计算更快,以检测到LBO的过渡。因此,我们建议使用瘦燃烧引擎中实时性能监视的方法。
translated by 谷歌翻译
fold-r ++是一种用于二进制分类任务的新电感学习算法。它为混合类型(数值和分类)数据生成(可解释的)正常逻辑程序。我们提出了一种具有排名框架(称为fold-tr)的自定义的折叠式R ++算法,该算法旨在按照培训数据中的排名模式对新项目进行排名。与Fold-R ++一样,Fold-Tr算法能够直接处理混合型数据,并提供本机的理由来解释一对项目之间的比较。
translated by 谷歌翻译